From randomized control trial to mixed methods: a practical framework for program evaluation based on methodological quality / Del ensayo controlado aleatorizado a los métodos mixtos: un marco práctico para la evaluación de programas basado en la calidad metodológica

The evidence used when making decisions about the design, implementation and evaluation in intervention programs should be methodologically sound. Depending on the context of the intervention, different methodologies may apply. Nonetheless, the intervention context is often unstable and, to adapt to changing circumstances, it sometimes becomes necessary to modify the original plan. The framework proposed herein draws on approaches that can be considered two extremes of a continuum (experimental/quasi-experimental designs and studies based on observational methodology). In unstable intervention context conditions, this enables decisions from a methodological quality approach regarding design, measurement, and analysis. Structural dimensions, i.e., units (participants, users), treatment (program activities), outcomes (results, including decisions about the instruments to use and data gathering), setting (implementation context) and time will be detailed as part of the practical framework. The present study aims to specify the degree of correspondence/complementarity between components in these structural dimensions of a program evaluation from a practical complementarity perspective based on methodological quality.(AU)

La evidencia utilizada al tomar decisiones sobre el diseño, implementación y evaluación en los programas de intervención debe ser metodológicamente sólida. Dependiendo del contexto de la intervención, se pueden aplicar diferentes metodologías. Sin embargo, el contexto de la intervención es a menudo inestable y, para adaptarse a las circunstancias cambiantes, en algunas ocasiones se hace necesario modificar el plan original. El marco propuesto en este documento se basa en enfoques que pueden considerarse dos extremos de un continuo (diseños experimentales / cuasiexperimentales y estudios basados ​​en metodología observacional). En condiciones de contexto de intervención inestable, esto permite tomar decisiones desde un enfoque de calidad metodológica en cuanto a diseño, medición y análisis. Las dimensiones estructurales, i.e., las unidades (participantes, usuarios), el tratamiento (actividades del programa), los resultados (incluidas las decisiones sobre los instrumentos a utilizar y la recopilación de datos), el entorno (contexto de implementación) y el tiempo se detallarán como parte del marco práctico. El presente estudio tiene como objetivo especificar el grado de correspondencia / complementariedad entre componentes en estas dimensiones estructurales de la evaluación de un programa desde una perspectiva de complementariedad práctica basada en la calidad metodológica.(AU)

Development and initial validation of a scale to measure methodological quality in diagnostic accuracy studies: the MInCir proposal / Desarrollo y validación inicial de una escala para medir la calidad metodológica en estudios de precisión diagnóstica. La propuesta de MInCir

Research in diagnostic accuracy studies (DAS) is a rapidly developing area in medicine, but there are only three instruments used in this scenario. The aim of this study was to design and validate a scale to determine methodological quality (MQ) of DAS. Scale validation study. A systematic literature review about the MQ of diagnostic accuracy studies was accomplished, and an expert panel generated a first draft (content validity) of the scale. An alphanumeric order was given and rated by six researchers (second draft) and a pilot study to optimise its use and understanding was performed (third draft). Two independent researchers applied the final scale (9 items/3 domains) to 110 articles from 13 journals with high, medium and low impact factors. Criterion validity was determined by contrasting MQ scores with the Oxford Centre for Evidence-Based Medicine levels of evidence. The construct validity of the extreme groups and high and low IF were estimated. The intraclass correlation coefficient was used to determine inter-observer reliability, and the cut-off point was calculated using a ROC curve. The best cut-off point was 24 points, with an under curve area of 93.4 %. The content validity rating was 80-100 % for all included items. Criterion and construct validity were statistically significant with p<0.05. Interobserver reliability was estimated in 0.96. A scale to measure the MQ of DAS was designed and validated.

La investigación en estudios de precisión diagnóstica (EPD) es un área de rápido desarrollo en medicina, sin embargo, en este escenario sólo existen tres instrumentos. El objetivo de este estudio fue diseñar y validar una escala para determinar calidad metodológica (CM) de EPD. Estudio de validación de escala. Se realizó una extensa revisión de la literatura sobre el CM de EPD y un panel de expertos generó un primer borrador (validez del contenido) de la escala. Se asignó un orden alfanumérico, el que evaluado por 6 investigadores independientes (2º borrador). Posteriormente, se realizó un estudio piloto para optimizar el uso y entendimiento (3º borrador). Dos investigadores independientes aplicaron la escala final (9 ítems / 3 dominios) a 110 artículos de 13 revistas con factores de impacto alto, medio y bajo. Se determinó validez de criterio contrastando puntuaciones de CM con niveles de evidencia del Oxford Centre for Evidence-Based Medicine. Se determinó validez de constructo de grupos extremos (factores de impacto alto y bajo). La confiabilidad interobservador se estimó aplicando coeficiente de correlación intraclase. Finalmente, se evaluaron puntos de corte construyendo curvas ROC. El mejor punto de corte fue 24 puntos (área bajo la curva de 93,4 %). La validez de contenido fue de 80-100 % para todos los elementos incluidos. Validez de criterio y constructo fueron estadísticamente significativos (p<0,05). La confiabilidad interobservador fue de 0,96. Se diseñó y validó una escala para medir el CM de EPD.

Initial validation of a scale to measure methodological quality in prognosis studies: the MInCir proposal / Validación inicial de una escala para medir calidad metodológica en estudios de pronóstico: la propuesta de MInCir

Research in methodological quality (MQ) of prognosis studies (PS) is relevant in view of the important number of studies developed in this scenario. However, currently there are no instruments designed to measure MQ in PS, thus the aim of this study was to validate a scale to determine the MQ in PS. Scale validation study. Two independent researchers applied the scale (10 items/4 domains) in 119 articles found in 13 Journals of high, medium and low impact factor. Criterion validity was determined by contrasting MQ scores with Oxford Centre for Evidence-Based Medicine levels of evidence. Construct validity of extreme groups and high and low impact factors were estimated. Intraclass correlation coefficient was used to determine interobserver reliability, and the cut-off point was calculated using a ROC curve. The best cut-off point was 33, with an under curve area of 82.6 %. Criterion and construct validity were statistically significant with (p<0.001). Interobserver reliability was 0.91 and a scale to measure the MQ in PS was validated.

El objetivo de este estudio fue validar una escala para determinar calidad metodológica (CM) de estudios de pronóstico (EP). Se realizó un estudio de validación de escalas. La escala, compuesta por 10 ítems y 4 dominios; se aplicó a 119 artículos de 13 revistas, de factores de impacto alto, medio y bajo; por dos investigadores independientes. La validez del criterio se determinó al contrastar las puntuaciones de CM de cada artículo con los niveles de evidencia del Centro de Medicina Basada en la Evidencia de Oxford de la revista en la cual fueron publicados. Se estimó la validez de constructo de grupos extremos (factores de impacto alto y bajo). Se utilizó el coeficiente de correlación intraclase para determinar la confiabilidad interobservador, y el punto de corte se calculó construyendo curvas ROC. El mejor punto de corte fue 33 puntos (área bajo la curva de 82,6 %). La validez de criterio y de constructo fueron estadísticamente significativas (p<0,001). La confiabilidad interobservador fue 0,91. Se validó una escala para medir CM en EP.

The assessment of pharmacoeconomic studies quality of Levodopa's use for the management of Parkinson's diseases, 2010-2015 / Evaluación de la calidad de estudios farmacoeconómicos del uso de Levodopa para el manejo de la enfermedad de Parkinson, 2010-2015

SUMMARY Levodopa (LD) has been the first choice in the management of Parkinson's disease (PD), since its introduction in the drug market; however, its prolonged use is related to the occurrence of motor complications, affecting the functionality and quality of life. Parkinson's disease is one of the most frequent among the neurodegenerative diseases in the world, and it is expected that the number of people who suffer it, will increase due to global population aging. The PD represents, nowadays and for the future, a high economic burden from all perspectives, including patients, payers, and society. So it is necessary to know about the use of LD in its treatment and to realize the quality of pharmacoeconomic studies in the past five years, to identify reliable sources of information related to the costs and benefits of this medication to contribute in making decisions. The aim of this paper is to assess the methodological quality of pharmacoeconomic studies related to the use of LD in PD, specifically those that are identified as cost-utility studies, applying the QHES instrument. A total of19 articles were found, of which 5 met the inclusion criteria and were subjected to examination. The average overall score obtained after the evaluation was 77.2 out of 100, making evident a good quality of studies according to the method used.

RESUMEN La Levodopa (LD) ha sido desde su introducción en el mercado la primera elección en el manejo de la enfermedad de Parkinson (EP); sin embargo, su uso prolongado está relacionado con la aparición de complicaciones motoras, afectándose la funcionalidad y calidad de vida. La EP es una de las enfermedades neurodegenerativas que se presenta con mayor frecuencia en el mundo y se espera que el número de personas que la padecen aumente, debido al envejecimiento poblacional a nivel mundial. La EP representa, actualmente y a futuro, una alta carga económica desde todas las perspectivas, incluyendo: pacientes, pagadores y la sociedad; por lo cual es necesario conocer el uso de la LD en el tratamiento de la misma y lograr determinar la calidad de los estudios farmacoeconómicos realizados en los últimos cinco años, para identificar fuentes fiables de información relacionadas con los costos y los beneficios de este medicamento que aporten en la toma de decisiones. El objetivo de este artículo es evaluar la calidad metodológica de los estudios farmacoeconómicos relacionados con el uso de la LD en la EP, específicamente aquellos que se cataloguen como estudios de costo-utilidad, aplicando el instrumento QHES. Se encontraron en total 19 artículos, de los cuales cinco cumplieron los criterios de inclusión y fueron sometidos al respectivo análisis. El puntaje global promedio obtenido posterior a la evaluación fue de 77,2 sobre 100, haciendo evidente una buena calidad de los estudios de acuerdo con el método utilizado.

Pautas de chequeo, parte III: STROBE y ARRIVE / Cheklists, part III: STROBE and ARRIVE

Los ensayos clínicos controlados son el diseño por excelencia de la medicina basada en la evidencia. Sin embargo, son el final de un largo camino que comienza con interrogantes o hipótesis que se desprenden de otros tipos de diseños. Algunos de los diseños que se encuentran en este camino son los estudios observacionales analíticos y los estudios de experimentacion en animales. Para que la información entregada por estos tipos de diseños sea de buena calidad, requieren cumplir con estándares mínimos en su reporte, y para esto es que se han diseñado las pautas STROBE y ARRIVE, respectivamente. La iniciativa STROBE fue formada el 2004 tomando como base la experiencia CONSORT, con el objetivo de facilitar la comunicación de estudios observacionales; incluye 22 ítems agrupados en 6 dominios (título/resumen, introducción, método, resultados, discusión y otra información). La pauta ARRIVE comenzó su elaboración durante el 2009, para ser finalmente publicada durante el 2010; incluye 20 ítems, los cuales se agrupan en 5 dominios (título/resumen, introducción, método, resultados y discusión). El uso de estas pautas ha llevado a una mejora en la calidad del reporte de estos tipos de diseños. Sin embargo, la calidad metodológica de muchos estudios continúa siendo subóptima, por lo que se requiere además de otras estrategias para la mejora global de este constructo. Este tercer artículo de la serie describe ambas pautas de chequeo para su uso por parte de los autores de la REVISTA CHILENA DE CIRUGÍA, con el fin de lograr una mejora de sus artículos de una forma simple y eficiente.

Controlled clinical trials are the ultimate design of evidence-based medicine. However, they are the end of a long journey that begins with questions or hypotheses that arise from other types of designs. Some of the designs found in this way are analytical observational studies and experimental studies in animals. To reach a good quality standard by these types of designs, they are required to comply with minimum standards in his report, for this is that they have designed the STROBE and ARRIVE checklists respectively. The STROBE checklist was developed in 2004 based on the CONSORT experience, in order to facilitate the reporting of observational studies, includes 22 items grouped into 6 domains (title / abstract, introduction, methods, results, discussion and other information). The ARRIVE checklist began developing in 2009, to be finally published in 2010, includes 20 items, which are grouped as 5 domain (title / abstract, introduction, methods, results and discussion). Using these checklists has led to improved quality report these types of designs. However the methodological quality of many studies remains suboptimal, so it also requires other strategies for overall improvement of this construct. This third article in the series describes both checklists for use by the authors of the REVISTA CHILENA DE CIRUGÍA, in order to achieve an improvement of its items in a simple and efficient way.

Pautas de chequeo, parte IV: STARD y CARE / Checklists, part IV: STARD and CARE

Los ensayos clínicos controlados representan el diseño más destacado en la investigación biomédica. Sin embargo, existen otros diseños metodológicos que aportan información relevante para la medicina basada en la evidencia: los estudios sobre precisión de pruebas diagnósticas y reportes de caso. Al igual que con otros diseños, estos necesitan cumplir con estándares de calidad en su reporte, para lo que se han diseñados las pautas STARD y CARE, respectivamente. La pauta STARD comenzó a desarrollarse en 1999, siendo publicada en 2003, e incluye 25 ítems agrupados en 5 dominios (título/resumen/palabras clave, introducción, métodos, resultados, discusión). La pauta CARE se elaboró de acuerdo a la Guía para Desarrolladores de Guías de Reporte de Investigación en Salud, siendo publicada en 2013, e incluye 13 ítems, sin dominios declarados y que es de uso general para todos los ámbitos de la medicina. Así como con otras pautas de chequeo, el uso de STARD se ha asociado a una mejora en la calidad del reporte de estudios sobre precisión diagnóstica. En el caso de CARE, es necesario evaluar con el paso de los años su impacto en la calidad de los reportes de caso. Este último artículo de la serie describe ambas pautas de chequeo para su uso por parte de los autores de la REVISTA CHILENA DE CIRUGÍA, con el fin de lograr una mejora de sus artículos de una forma simple y eficiente.

Controlled clinical trials represent the design highlight in biomedical research. However, there are other methodological designs that provide relevant information for evidence-based medicine: studies of diagnostic test accuracy and case reports. As with other designs, they need to meet quality standards in their reporting, that is the reason for the design of STARD and CARE checklists, respectively. The STARD checklist began to develop in 1999, being published in 2003, it includes 25 items grouped into five domains (title / abstract / keywords, introduction, methods, results, discussion). The CARE checklist was made according to the Guidance for Developers of Health Research Reporting Guidelines, was published in 2013, it includes 13 items, without declared domains and is commonly used for all areas of medicine. As with other checklist, the use of STARD has been associated with an improvement in quality report of studies on diagnostic accuracy. In the case of CARE, it is necessary to assess over the years its impact on quality of case reports. This last article in the series describes both checklists for use by the authors of the REVISTA CHILENA DE CIRUGÍA, in order to achieve an improvement in their articles in a simple and efficient way.

Calidad metodológica de las evaluaciones económicas completas, publicadas en revistas médicas cubanas (1999-2014) / Methodological quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014

Objetivo: determinar la calidad metodológica de las evaluaciones económicas completas publicadas en revistas médicas cubanas. Métodos: estudio observacional, descriptivo y transversal en 21 artículos, declarados por su autores como evaluaciones económicas completas, publicados entre 1999 y 2014 en 47 revistas médicas cubanas reconocidas por el Ministerio de Ciencia, Tecnología y Medio Ambiente. A todos se les aplicó una guía de evaluación que incluyó: año de publicación, revista, objetivo, problema, opciones, horizonte temporal, perspectiva, costo, efectos sobre la salud y cálculo de las razones costo/efectividad. Resultados: los artículos se concentraron en ocho revistas. La mayor cantidad está en la Revista Cubana de Farmacia. Le siguieron en importancia la Revista Cubana de Salud Pública y MEDISAN. Ninguno de los aspectos estaba correctamente tratado en más de 80 por ciento de los trabajos revisados. Los resultados más desfavorables estaban en la declaración de la perspectiva, presente en menos de 20 por ciento de los trabajos y el análisis de sensibilidad en menos de 30 por ciento. Menos de la mitad de los trabajos abordaron adecuadamente la presentación del problema de investigación, los objetivos, el horizonte temporal, los costos y la razón costo efectividad incremental. No se encontró ningún artículo en los últimos tres años. Conclusiones: son escasas las evaluaciones económicas publicadas. La mayoría tiene limitaciones metodológicas. Se observa insuficiente desarrollo de esta temática en el país y apunta hacia la importancia de continuar insistiendo en la divulgación de los aspectos metodológicos básicos de estas evaluaciones tanto para investigadores como para revisores y editores de revistas científicas(AU)

Objective: to determine the methodical quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014. Methods: observational, descriptive and cross-sectional study of articles classified by their authors as complete economic evaluations and published from 1999 to 2014 in 47 Cuban medical journals authorized by the Ministry of Science, Technology and Environment. The applied evaluation guide included year of publication, journal, objective, problem, options, time frame, prospects, cost, health effects and estimation of the cost/effectiveness ratio. Results: twenty one papers were found, but in the last three years no paper has been published. These papers were mainly published in eight journals, being the first Revista Cubana de Farmacia, followed by Revista Cubana de Salud Publica and MEDISAN. None of the aspects was correctly addressed in over 80 percent of revised papers. The worst results were found in statement of perspective present in less than 20 percent of papers in addition to sensitivity analysis in less than 30 percent of them. Almost 50 of papers adequately dealt with the submission of research problems, objectives, time frame, costs and the incremental cost/effectiveness ratio. Conclusions: published economic evaluations are still scanty and most of them exhibit methodological faults. There is insufficient development in this area nationwide, which points to the importance of insisting once again on the dissemination of the basic methodological aspects of these evaluations aimed at researchers who act as reviewers and as editors of scientific journals(AU)

Calidad metodológica de las evaluaciones económicas completas, publicadas en revistas médicas cubanas (1999-2014) / Methodological quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014

Objetivo: determinar la calidad metodológica de las evaluaciones económicas completas publicadas en revistas médicas cubanas. Métodos: estudio observacional, descriptivo y transversal en 21 artículos, declarados por su autores como evaluaciones económicas completas, publicados entre 1999 y 2014 en 47 revistas médicas cubanas reconocidas por el Ministerio de Ciencia, Tecnología y Medio Ambiente. A todos se les aplicó una guía de evaluación que incluyó: año de publicación, revista, objetivo, problema, opciones, horizonte temporal, perspectiva, costo, efectos sobre la salud y cálculo de las razones costo/efectividad. Resultados: los artículos se concentraron en ocho revistas. La mayor cantidad está en la Revista Cubana de Farmacia. Le siguieron en importancia la Revista Cubana de Salud Pública y MEDISAN. Ninguno de los aspectos estaba correctamente tratado en más de 80 por ciento de los trabajos revisados. Los resultados más desfavorables estaban en la declaración de la perspectiva, presente en menos de 20 por ciento de los trabajos y el análisis de sensibilidad en menos de 30 por ciento. Menos de la mitad de los trabajos abordaron adecuadamente la presentación del problema de investigación, los objetivos, el horizonte temporal, los costos y la razón costo efectividad incremental. No se encontró ningún artículo en los últimos tres años. Conclusiones: son escasas las evaluaciones económicas publicadas. La mayoría tiene limitaciones metodológicas. Se observa insuficiente desarrollo de esta temática en el país y apunta hacia la importancia de continuar insistiendo en la divulgación de los aspectos metodológicos básicos de estas evaluaciones tanto para investigadores como para revisores y editores de revistas científicas(AU)

Objective: to determine the methodical quality of complete economic evaluations published in Cuban medical journals from 1999 to 2014. Methods: observational, descriptive and cross-sectional study of articles classified by their authors as complete economic evaluations and published from 1999 to 2014 in 47 Cuban medical journals authorized by the Ministry of Science, Technology and Environment. The applied evaluation guide included year of publication, journal, objective, problem, options, time frame, prospects, cost, health effects and estimation of the cost/effectiveness ratio. Results: twenty one papers were found, but in the last three years no paper has been published. These papers were mainly published in eight journals, being the first Revista Cubana de Farmacia, followed by Revista Cubana de Salud Publica and MEDISAN. None of the aspects was correctly addressed in over 80 percent of revised papers. The worst results were found in statement of perspective present in less than 20 percent of papers in addition to sensitivity analysis in less than 30 percent of them. Almost 50 of papers adequately dealt with the submission of research problems, objectives, time frame, costs and the incremental cost/effectiveness ratio. Conclusions: published economic evaluations are still scanty and most of them exhibit methodological faults. There is insufficient development in this area nationwide, which points to the importance of insisting once again on the dissemination of the basic methodological aspects of these evaluations aimed at researchers who act as reviewers and as editors of scientific journals(AU)

Calidad metodológica de ensayos clínicos sobre periodoncia publicados en revistas ISI / Methodological quality of periodontal clinical trials published in ISI Journals

Describir la calidad metodológica de los ensayos clínicos de periodoncia en revistas indexadas en el Institute for Scientific Information. Material y métodos: Estudio observacional descriptivo en el que se evaluaron los ensayos clínicos publicados entre Enero de 2008 y Diciembre de 2012, de las cuatro revistas de periodoncia indexadas a ISI, con mayor factor de impacto en los últimos 5 años según Journal Citation Reports. Se realizó una estrategia de búsqueda en PubMed para cada revista. Sólo los ensayos clínicos fueron seleccionados para el análisis cualitativo por medio de una escala de calidad metodológica. Los datos fueron analizados utilizando el paquete estadístico SPSS Statistics 20 para Windows (IBM., Chicago, USA.) y presentados mediante estadística descriptiva. Resultados: De las revistas que cumplieron los criterios de selección, Journal of Clinical Periodontology, Journal of Periodontology, Journal of Periodontal Research e International Journal of Periodontics & Restorative Dentistry, se analizaron 387 ensayos clínicos. De los 24 puntos máximos obtenibles de la escala, la media alcanzada por los manuscritos evaluados fue de 17,45 puntos. Conclusión: La calidad metódológica de los ensayos clínicos en periodoncia, indexados en revistas ISI, fue deficiente...

To describe the methodological quality of periodontal clinical trials in journals indexed by the Institute for Scientific Information (ISI).Materials and methods: Descriptive observational study in which the clinical trials published in four ISI-indexed periodontics journals between January 2008 and December 2012 were evaluated. The journals were selected as they had had the highest impact factor in the last 5 years according to the Journal Citation Reports.For each journal, papers were searched for in PubMed. Only clinical trials were selected to conduct the qualitative analysis using a methodological quality scale. Statistical analysis was conducted with SPSS Statistics 20 for Windows (IBM, Chicago, USA), and the data were presented through descriptive statistics. Results: The following journals fulfilled the selection criteria: Journal of Clinical Periodontology, Journal of Periodontology, Journal of Periodontal Research and International Journal of Periodontics & Restorative Dentistry. From these journals, 387 clinical trials were analyzed. Of the maximum of 24 points in the scale, the mean reached was 17.45 points. Conclusion: The methodological quality of periodontal clinical trials indexed in ISI is deficient...

Instructions for using the MInCir Scale to assess methodological quality in diagnostic accuracy studies / Instrucciones para utilizar la Escala MInCir para valorar calidad metodológica de estudios de diagnóstico o pruebas diagnósticas

Globally, the assessment of methodological quality (MQ) in biomedical research is an area of dynamic development over recent years. Understood as a complex and multidimensional construct, various groups have proposed tools for its assessment. Our team has designed and validated scales to assess MQ of therapy and prognosis studies. However, as with other instruments, it is necessary to specify in detail how it is applied, in such a way as to be able to standardize the measurements made with this instrument. A detailed description is presented of the 3 domains (type of research design [single item domain], size of population studied [single item domain], and methodology 7 items) and 9 items comprising the scale, specifying for each item how to assess the characteristics and score articles of diagnostic accuracy studies. The application of this instrument requires critical evaluation of each of the items to assign the respective score, which sum to give a total score of between 9 and 45 points. The cut-off point to define the construct MQ (dichotomous) for this type of study is 20 points. This article provides an application guideline that may help to improve inter-observer and intra-observer reliability of the MInCir MQ scale for diagnostic accuracy studies. The aim of this article is to provide a guideline for the standardized application of the MInCir MQ scale for diagnostic accuracy studies.

La evaluación de la calidad metodológica (CM) en la investigación biomédica es un área de desarrollo dinámico en los últimos años. Entendida, como un constructo multidimensional y complejo; diversos grupos han propuesto herramientas para su valoración. Nuestro equipo de trabajo ha diseñado y validado escalas para valorar CM de estudios de terapia y pronóstico. Sin embargo, como ocurre con otros instrumentos, es necesario especificar detalladamente la forma en que se aplica, de forma tal de poder estandarizar las mediciones. De este modo, se presenta una descripción pormenorizada de los 3 dominios (tipo de diseño, tamaño de la población en estudio y metodología) y 9 ítems que componen la escala, precisando para cada uno de ellos las características a evaluar y puntuar en los artículos primarios de diagnóstico o pruebas diagnósticas. La aplicación de este instrumento requiere de la evaluación crítica de cada ítem para asignar una puntuación final que en su sumatoria puede variar entre 9 y 45 puntos, con un punto de corte de 20 puntos que define el constructo CM para este tipo de estudios. Este artículo aporta una guía de aplicación que permite otorgar una adecuada confiabilidad intra e inter observador a las mediciones que se realicen aplicando la escala MInCir de CM para valorar estudios primarios de escenarios de diagnóstico o pruebas diagnósticas. El objetivo de este artículo es proporcionar una guía para la aplicación estandarizada de la escala MInCir de CM para valorar estudios primarios de escenarios de diagnóstico o pruebas diagnósticas.

Instructions for the use of MInCir scale to assess methodological quality in therapy studies / Instrucciones para la utilización de la escala MInCir para valorar calidad metodológica de estudios de tratamiento o procedimientos terapéuticos

The assessment of methodological quality (MQ) in biomedical research is an area of dynamic development over recent years globally. Understood as a complex and multidimensional construct, various groups have proposed tools for its assessment. Our team has designed and validated scales to assess MQ of therapy, diagnosis, and prognosis studies. However, as with other instruments, it is necessary to specify in detail how it is applied, in order to standardize the measurements made with this instrument. The aim of this article is to provide a guideline for the standardized application of the MInCir MQ scale for therapy or therapeutic procedure studies. A detailed description of the 3 domains and 6 items comprising the scale, specifying for each of them how to assess the characteristics and score articles on therapy or therapeutic procedures is presented. This article provides an application guideline that may help to improve interobserver and intraobserver reliability of the MInCir MQ scale for therapy or therapeutic procedures.

La evaluación de la calidad metodológica (CM) en la investigación biomédica es un área de desarrollo dinámico en los últimos años a nivel global. Entendida ésta, como un constructo multidimensional y complejo; diversos grupos han propuesto herramientas para su valoración. Nuestro equipo de trabajo ha diseñado y validado escalas para valorar CM de estudios de terapia, diagnóstico y pronóstico. Sin embargo, como ocurre con otros instrumentos, es necesario especificar detalladamente la forma en que se aplica, de forma tal de poder estandarizar las mediciones efectuadas con dicho instrumento. El objetivo de este artículo es detallar la aplicación de la escala MInCir de CM de estudios de terapia o procedimientos terapéuticos. De este modo, se presenta una descripción pormenorizada de los 3 dominios y 6 ítems que componen la escala, precisando para cada uno de ellos las características a evaluar y puntuar en los artículos primarios de terapia o procedimientos terapéuticos. Este artículo aporta una guía de aplicación que permite otorgar una adecuada confiabilidad intra e inter observador a las mediciones que se realicen aplicando la escala MInCir de terapia o procedimientos terapéuticos.

Instructions for the use of MInCIR scale to assess methodological quality in prognosis studies / Instrucciones para la utilización de la escala MInCIR para valorar calidad metodológica de estudios de pronóstico

The assessment of methodological quality (MQ) in biomedical research is an area of dynamic development over recent years globally. Understood as a complex and multidimensional construct, several groups have been proposed tools for its evaluation, between them our group has designed and validated scales to assess MQ in therapy, diagnosis and prognosis studies. However, as with other instruments, it is necessary to specify in detail how the measurement is performed. The aim of this article is to provide a guideline for the standardized application of MInCir MQ scale for prognosis studies. A detailed description of the 11 items and 4 domains of the scale, indicating for each of them how to assess and rate the characteristics in primary prognosis articles is presented. This article provides an application guideline that may help to improve interobserver and intraobserver reliability of MInCir MQ scale for prognosis studies.

La evaluación de la calidad metodológica (CM) en la investigación biomédica es un área de desarrollo dinámico en los últimos años a nivel global. Entendida como un constructo multidimensional y complejo, diversos grupos han propuesto herramientas para su valoración, entre ellos nuestro equipo de trabajo ha diseñado y validado escalas para valorar CM de estudios de terapia, diagnóstico y pronóstico. Sin embargo, como ocurre con otros instrumentos, es necesario especificar detalladamente la forma en que se aplica, de forma tal de poder estandarizar las mediciones. El objetivo de este artículo es explicar la aplicación de la escala MInCir de CM para estudios de pronóstico. Se presenta una descripción pormenorizada de los 11 ítems y 4 dominios que componen la escala, precisando para cada uno de ellos las características a evaluar y puntuar en los artículos primarios de pronóstico. El presente artículo aporta una guía de aplicación que permite otorgar una adecuada confiabilidad intra e inter observador en las mediciones con la escala MInCir Pronóstico.

Pautas de chequeo, parte I: consort y trend / Cheklists, part I: consort and trend

One of the most common problems in scientific articles is its poor reporting, a situation that leads to lack of information, affecting internal and external validity, questioning his contribution and usefulness. This has been studied leading to propositions by the international scientific community, reflected in a series of guidelines or checklists as CONSORT and TREND for randomized clinical trials (RCTs) and non-randomized intervention studies (NRISs) respectively. The CONSORT checklist was created in 1996, with a final version in 2010, consisting of 25 items, grouped into 6 domains: Title and Summary, Introduction, Methods, Results, Discussion, and Other information; representing the critical points in a RCT report. In many cases RCTs are no feasible so other research designs such as NRISs has to be executed, for this design the TREND checklist was developed in 2004, consisting of 22 items, grouped into 5 domains: Title and Summary, Introduction, Methods, Results and Discussion. Even when the evidence has been contradictory regarding the impact of these checklists, they represent an important tool to improve biomedical research. This article tries to explain these checklists and encourage its use by the authors of the Revista Chilena de Cirugía, in function to contribute to continuous improvement of their articles in a simple and efficient way.

Uno de los problemas más frecuentes en los artículos científicos es su deficiente reporte, situación que redunda en falta de información, afectando la validez interna y externa, cuestionando su aporte y utilidad. Esta situación ha sido motivo de estudio y propuestas por parte de la comunidad científica internacional, que se materializan en una serie de pautas de chequeo o checklists como CONSORT y TREND para ensayos clínicos aleatorizados (ECA) y estudios de intervención no aleatorizados (EINA) respectivamente. La propuesta CONSORT nace en 1996, con una última versión en 2010, constituida por 25 ítems, agrupados en 6 dominios: Título y Resumen, Introducción, Metodología, Resultados, Discusión y Otra información; representando puntos esenciales a reportar en un ECA. En muchas ocasiones se debe recurrir a otro tipo de diseños de investigación como los EINA, para los que en 2004 se desarrolló la pauta TREND, el cual consta de 22 ítems, agrupados en 5 dominios: Título y resumen, Introducción, Métodos, Resultados y Discusión. Aun cuando la evidencia ha sido contradictoria respecto al impacto de estas pautas, estas representan una herramienta relevante para mejorar la investigación biomédica. El presente artículo intenta dar a conocer estos checklists e incentivar su uso por parte de los autores de la Revista Chilena de Cirugía, con lo cual se espera contribuir a una mejora continua de sus artículos de una forma simple y eficiente.

Instrucciones para la utilización de la escala mincir para valorar calidad metodológica de estudios de terapia / Instructions for the use of mincir scale to assess methodological quality in therapy studies

La calidad metodológica (CM) es un constructo multidimensional complejo que evalúa diferentes variables. Una aproximación al tema fue la generación de escalas para valorar CM de estudios de terapia, diagnóstico y pronóstico por parte de nuestro grupo de trabajo; todas ellas validadas. El objetivo de este artículo es entregar una pauta para estandarizar la aplicación para la escala MINCir, para valorar CM de estudios de terapia. Se realiza una descripción detallada de cada ítem y dominio que conforman la escala MINCir Terapia, junto con una guía de cómo dar respuesta a cada uno de ellos. Se generó una guía de usuario para aplicar la escala MINCir Terapia.

Methodological quality (MQ) is a complex multidimensional construct that tests different types of variables. An approach to this issue was the potential to generate a group of valid scales to assess MQ in therapy, diagnosis and prognosis studies. The aim of this article is to provide a guideline to standardize the implementation of a MinCir scale to assess MQ in therapy studies. A detailed description of each item and discipline of the therapy MinCir scale is provided, along with guidelines on how to respond each query. A user guide for applying the therapy MinCir scale was generated.

Evaluación de la calidad de estudios farmacoeconómicos del uso de los inhibidores de la bomba de protones en enfermedad ácido péptica / Quality assessment of pharmacoeconomic studies of the use of proton pump inhibitors in peptic ulcer disease

Los inhibidores de la bomba de protones (IBP) son un grupo de fármacos que reducen la secreción de ácido en el estómago, por lo que son ampliamente utilizados en el tratamiento de la úlcera péptica. La notable prevalencia e incidencia de esta patología sugiere que los recursos económicos y humanos dedicados a su tratamiento son considerables y, por tanto, es necesario identificar fuentes fiables de información relacionadas con los costos y los beneficios de estos agentes terapéuticos que permitan valorarlos en términos de eficiencia para mejorar su prescripción racional. Este trabajo realizó una revisión de los estudios farmacoeconómicos correspondientes al uso de los ibp en la prevención y tratamiento de la enfermedad ácido péptica y se presenta una evaluación pareada de la calidad metodológica de la bibliografía basada en el instrumento qhes (Ofman et al., [10]). De los diez artículos revisados, cuatro son de costo-efectividad, dos de costo-utilidad, tres de descripción de costos y uno de minimización de costos. El puntaje global promedio obtenido por los estudios evaluados fue de 66,6 sobre 100. Cuatro de ellos puntuaron por debajo de 60, haciendo evidente deficiencias en la calidad de los estudios de acuerdo con el instrumento usado, además pone de manifiesto que se necesitan evaluaciones farmacoeconómicas en relación con el uso de los ibp para la prevención y el tratamiento de la úlcera péptica, especialmente estudios de costo-efectividad, que cumplan con los estándares de calidad metodológica.

Proton pump inhibitors (PPI) are a group of drugs that reduce gastric acid secretion and therefore are widely used in the treatment of peptic ulcer. The remarkable prevalence and incidence of this disease suggests that economic and human resources devoted to treatment are considerable and therefore it is necessary to identify reliable sources of information related to the costs and benefits of these therapeutic agents to appraise in terms of efficiency to improve rational prescribing. This paper conducted a review of pharmacoeconomic studies pertaining to the use of ppi in the prevention and treatment of peptic acid disease, as it presents a paired assessment of methodological quality of the literature instrument based on qhes (Ofman et al., [10]). Of the ten articles reviewed, four were cost-effectiveness, two cost-utility, three description of cost, and one of cost minimization. The average overall scored 66.6 out of 100. Four of them scored below 60.0, making it a clear need for pharmacoeconomic evaluations in connection with the use of ppi for prevention and treatment of peptic ulcer, especially cost-effectiveness studies that meet standards of methodological quality.

Confiabilidad de la escala MINCIR para valorar calidad metodológica de estudios de terapia / Validation of a scale for assessing methodological quality of therapy studies: pilot study

Introduction: The methodological quality (MQ) is a complex multidimensional concept that assesses multiple items as design, methodology and analysis. There are few tools to assess MQ of studies in the field of therapy and these are also partially validated. The aim of this study is to determine the intra and inter observer reliability of the MINCIR scale for assess MQ of therapy articles. Methods: study of validation scales. Was calculate sample size considering confidence level of 95 percent, accuracy of 2 points and standard deviation of 4.95, which gives 21 articles, select by simple random probabilistic sampling with Stata 10.0. Was determined intra and inter observer reliability of the scale and each one of its domains using intraclass correlation coefficient (ICC). Results: the ICC for interobserver reliability was 0.9. The ICC observed for the domains one, two and three was 0.97, 0.88 and 0.64 respectively. The ICC observed for intraobserver reliability was 0.99. The ICC observed for the domains one, two and three were 1; 1 and 0.91 respectively. Conclusion: interob-server and intraobserver reliability for the MINCIR scale to assess MQ of therapy articles were determined.

Introducción: La calidad metodológica (CM) es un constructo multidimensional complejo que evalúa múltiples ítems como diseño, metodología y análisis realizados. Existen escasos instrumentos para valorar CM de estudios en el ámbito de la terapia y además estos se encuentran parcialmente validados. El objetivo de este estudio es determinar la confiabilidad intra e interobservador de la escala MINCIR para valorar CM en estudios de terapia. Material y Método: diseño de validación de escalas. Se calculó un tamaño de muestra considerando un nivel de confianza de 95 por ciento, una precisión de 2 puntos, y una desviación estándar de 4,95; lo que arrojó 21 artículos. Estos fueron seleccionados mediante muestreo probabilístico aleatorio simple con programa Stata 10.0. Se determinó confiabilidad intra e interobservador de la escala y de cada uno de sus dominios mediante coeficiente de correlación intraclase (CCI). Resultados: la escala evaluada presenta un CCI para confiabilidad interobservador de 0,9; el CCI para el dominio uno, dos y tres es de 0,97; 0,88 y 0,64 respectivamente. El CCI para la confiabilidad intraobservador de la escala es de 0,99 y para los dominios uno, dos y tres es de 1; 1; y 0,91 respectivamente. Conclusión: se determinó confiabilidad inter e intraobservador de la escala MINCIR para valorar CM de artículos de terapia.

Validación de escala MinCir de estudios de pronóstico / Methodological quality in prognostic papers (scale MinCir Pr)

Introduction: Our team reported the development of a scale for assessing methodological quality in prognostic papers (scale MinCir Pr). The aim of this paper is to report the process of validation of scale MinCir Pr. Material and Methods: We reviewed 121 papers about prognosis. Score was performed according to the scale MinCir Pr and level of evidence. In addition we recorded the number of publications of the author. For the construct validity of the measurement was made through the technique known extreme groups, which claims that the evaluations differ regarding the critical attribute. To this end, we used the level of evidence items 2 and 4, waiting for a difference in scale scores of articles published at the ends of the score. Results: For validation of extreme groups we compare the performance of the scale in relation to the level of evidence 2 and 4, since in these groups had more papers (55 and 48 respectively). The average score of the scale in papers with level of evidence 2 was 82.21 +/- 13.79 compared with the score in papers with level of evidence 4 which was 64.97 +/- 17.10 (p = 0.000). Conclusion: We performed the validity of the scale builder MinCir Pr using the technique known extreme groups.

Introducción: Nuestro equipo de trabajo reportó el desarrollo de una escala de evaluación de calidad metodológica de estudios de pronóstico (escala MinCir Pr). El objetivo del presente trabajo es reportar el proceso de validación de la escala MinCir Pr. Material y Método: Se revisaron 121 estudios de pronóstico. Se realizó la puntuación de los trabajos según la escala MinCir Pr y según el nivel de evidencia. Además se registró el número de publicaciones del autor. Para la validez de constructo se realizó la medición por medio de la técnica de grupos extremos conocidos, que presume que las evaluaciones diferirán respecto al atributo crítico. Para este fin, se utilizaron los artículos con nivel de evidencia 2 y 4, esperando una diferencia en la puntuación de la escala de los artículos publicados en los extremos de la puntuación. Resultados: Para realizar la validación de grupos extremos comparamos el desempeño de la nueva escala en relación a los niveles de evidencia 2 y 4; ya que en estos grupos había mayor número de artículos (55 y 48 respectivamente). El promedio de puntuación de la nueva escala de los trabajos con nivel de evidencia 2 fue de 82,21 +/- 13,79 en comparación con la puntuación de los trabajos con nivel de evidencia 4 que fue de 64,97 +/- 17,10 (p = 0,000). Conclusión: Se realizó la validez de constructor de la escala MinCir Pr utilizando la técnica de grupos extremos conocidos.

Diseño de una escala para evaluar calidad metodológica de estudios de pruebas diagnósticas: estudio piloto / Construction of a scale to assess methodological quality of diagnostic tests articles

Introduction: Despite the methodological quality (MQ) of scientific publications is a multidimensional concept difficult to understand, their evaluation is essential at the time of making decisions that support our clinical practice. However, in the field of diagnostic tests (DT), which is in a steady and rapid development, there are no valid and reliable instruments to assess MQ. Aim: To report the results of the generation of items and domains of a scale to determine MQ in studies of DT and to determine interobserver reliability of this scale. Material and Methods: Construction of a scale to assess MQ of DT articles and pilot study to determine interobserver reliability. Designed scale was applied to 20 DT studies randomly selected. Interobserver reliability of the scale and each of the domains that compose it was determined by applying intraclass correlation coefficient. Results: The created scale has 9 items grouped into three domains. The ICC observed was 1.0 for the domain 1, 0.90 for the domain 2 and 0.86 for the domain 3. The overall ICC was 0.96. Conclusion: A scale to determine MQ in DT studies was created and it interobserver reliability was determined with a significant level of agreement between observers.

Introducción: A pesar que la calidad metodológica (CM) de las publicaciones científicas es un concepto multidimensional de difícil comprensión, su evaluación es fundamental para la toma de decisiones que apoyen nuestra práctica clínica. No obstante ello, en el ámbito de las pruebas diagnósticas (PD), que se encuentra en constante y rápido desarrollo, no existen instrumentos válidos y confiables que permitan evaluar CM. Objetivo: Reportar los resultados del proceso de generación de ítems y dominios de una escala para determinar CM en estudios de PD; y determinar la confiabilidad interobservador de esta escala. Material y Método: Construcción de una escala de CM de estudios de PD y estudio de confiabilidad interobservador. Se aplicó la escala diseñada a 20 artículos de PD seleccionados en forma aleatoria. Se determinó confiabilidad interobservador de la escala en general y de cada uno de los dominios que la componen mediante aplicación del coeficiente de correlación intraclase. Resultados: La escala generada quedó compuesta por 9 ítems agrupados en tres dominios. El CCI observado para el dominio uno fue de 1,0; para el dominio dos de 0,90; y para el dominio tres de 0,86. El CCI general de la escala fue de 0,96. Conclusión: Se generó una escala para medir CM en estudios de PD y se determinó confiabilidad interobservador de ella y los dominios que la componen. Se observó un nivel de acuerdo significativo entre los evaluadores.